from bs4 import BeautifulSoup
import requests
'''
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库
'''
headers={
"User-Agent" : "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"
}
response=requests.get("https://morvanzhou.github.io/static/scraping/basic-structure.html",headers=headers)
response.encoding="utf-8"
# print(response.headers)
# print(response.text)
html=response.text
# 加载进 BeautifulSoup, 以 lxml 的这种形式加载. 除了 lxml, 其实还有很多形式的解析器, 不过大家都推荐使用 lxml 的形式
# html.parser是python内置解释器
soup=BeautifulSoup(html,"html.parser")
# 第三方解释器lxml
# soup=BeautifulSoup(html,"lxml")
# 直接使用标签名当做属性输出，<h1>使用soup.h1获取
print(soup.h1)
print(soup.p)
# 反回html页面元素的对象数组
all_a=soup.find_all("a")
#通过[]来访问元素属性
all_href=[hr['href'] for hr in all_a]
print(all_href)




